Drone Base Station Positioning and Power Allocation Using Reinforcement Learning

Large scale natural disasters can cause unpredictable losses of human lives and man-made infrastructure. This can hinder the ability of both survivors as well as search and rescue teams to communicate, decreasing the probability of finding survivors. In such cases, it is crucial that a provisional communication network is deployed as fast as possible in order to re-establish communication and prevent additional casualties. As such, one promising solution for mobile and adaptable emergency communication networks is the deployment of drones equipped with base stations to act as temporary small cells. In this paper, an intelligent solution based on reinforcement learning is proposed to determine the best transmit power allocation and 3D positioning of multiple drone small cells in an emergency scenario. The main goal is to maximize the number of users covered by the drones, while considering user mobility and radio access network constraints. Results show that the proposed algorithm can reduce the number of users in outage when compared to a fixed transmit power approach and that it is also capable of providing the same coverage, with lower average transmit power and using only half of the drones necessary in the case of fixed transmit power

Alocação de potência e posicionamento de drones usando aprendizagem por reforço

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2019.Desastres naturais de grande escala podem causar perdas imprevisíveis de vidas humanas e também de infraestruturas. Isso pode dificultar a capacidade dos sobreviventes, bem como das equipes de busca e salvamento, para se comunicar. Nesses casos, é crucial que uma rede de comunicação provisória seja implementada o mais rápido possível, a fim de restabelecer a comunicação e evitar novas vítimas. Como tal, uma solução promissora para redes de comunicação de emergência e adaptáveis é a implementação de drones equipados com estações rádio-base para atuar como pequenas células temporárias. Neste trabalho, uma solução inteligente baseada em aprendizagem por reforço é proposta para determinar a melhor alocação de potência de transmissão e posicionamento 3D de pequenas células em um cenário de emergência. O objetivo principal é maximizar o número de usuários cobertos pelos drones, considerando a mobilidade do usuário e as restrições da rede de acesso ao rádio. Os resultados mostram que o algoritmo proposto pode reduzir o número de usuários em outage quando comparado a uma abordagem de potência de transmissão fixa e mostra que também é capaz de fornecer a mesma cobertura, com menor potência média de transmissão e utilizando apenas metade dos drones necessários no caso de potência de transmissão fixa.Abstract: Large scale natural disasters can cause unpredictable losses of human lives and man-made infrastructure. This can hinder the ability of both survivors as well as search and rescue teams to communicate, decreasing the probability of finding survivors. In such cases, it is crucial that a provisional communication network is deployed as fast as possible in order to re-establish communication and prevent additional casualties. As such, one promising solution for mobile and flexible emergency communication networks is the deployment of drones equipped with base stations to act as temporary small cells. In this work, an intelligent solution based on reinforcement learning is proposed to determine the best transmit power allocation and 3D positioning of multiple drone small cells in an emergency scenario. The main goal is to maximize the number of users covered by the drones, while considering user mobility and radio access network constraints. Results show that the proposed algorithm can reduce the number of users in outage when compared to a fixed transmit power approach and that it is also capable of providing the same coverage, with lower average transmit power and using only half of the drones necessary in the case of fixed transmit power